本书涵盖了从统计学意义检验的原则和局限性到课题组规模设计和功率分析等方面，指导读者进行统计学上的精心设计的实验。虽然经典的统计学显著性检验在某种程度上对信息检索（IR）的评估很有用，但如果不恰当地使用正确的样本量和统计能力，不正确地报告检验结果，它们就会损害研究。本书的前半部分主要针对本科生，后半部分适合研究生和经常在IR、自然语言处理、推荐及相关领域进行实验室实验的研究人员。
第1-5章回顾了用于比较系统平均值的参数显著性检验，即t检验和方差分析，并展示了如何使用Microsoft Excel或R轻松地进行这些检验。这些章节还讨论了为那些对比较每个系统对感兴趣的研究人员提供的一些多重比较程序，包括随机版本的Tukey的诚实显著性差异检验。然后，这几章讨论了经典显著性检验的已知局限性，并为报告有关均值比较的研究结果提供了实用指南。
